<html>
 <head>
  <meta charset="utf-8"/>
  <meta content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no" name="viewport"/>
  <title>
   YangCan: 那些年，我们一起追的EB  | 数螺 | NAUT IDEA
  </title>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap-theme.min.css" rel="stylesheet"/>
  <link href="http://cdn.bootcss.com/bootstrap/3.3.6/css/bootstrap.min.css" rel="stylesheet"/>
  <style type="text/css">
   #xmain img {
                  max-width: 100%;
                  display: block;
                  margin-top: 10px;
                  margin-bottom: 10px;
                }

                #xmain p {
                    line-height:150%;
                    font-size: 16px;
                    margin-top: 20px;
                }

                #xmain h2 {
                    font-size: 24px;
                }

                #xmain h3 {
                    font-size: 20px;
                }

                #xmain h4 {
                    font-size: 18px;
                }


                .header {
	           background-color: #0099ff;
	           color: #ffffff;
	           margin-bottom: 20px;
	        }

	        .header p {
                  margin: 0px;
                  padding: 10px 0;
                  display: inline-block;  
                  vertical-align: middle;
                  font-size: 16px;
               }

               .header a {
                 color: white;
               }

              .header img {
                 height: 25px;
              }
  </style>
  <script src="http://cdn.bootcss.com/jquery/3.0.0/jquery.min.js">
  </script>
  <script src="http://cdn.mathjax.org/mathjax/latest/MathJax.js?config=TeX-AMS-MML_HTMLorMML" type="text/javascript">
   MathJax.Hub.Config({
          tex2jax: {inlineMath: [['$','$'], ['\\(','\\)']]},
          TeX: {equationNumbers: {autoNumber: "AMS"}}
        });
  </script>
  <script src="http://nautstatic-10007657.file.myqcloud.com/static/css/readability.min.js" type="text/javascript">
  </script>
  <script type="text/javascript">
   $(document).ready(function() {
                 var loc = document.location;
                 var uri = {
                  spec: "http://cos.name/2012/05/chase-after-eb/",
                  host: "http://cos.name",
                  prePath: "http://cos.name",
                  scheme: "http",
                  pathBase: "http://cos.name/"
                 };
    
                 var documentClone = document.cloneNode(true);
                 var article = new Readability(uri, documentClone).parse();
     
                 document.getElementById("xmain").innerHTML = article.content;
                });
  </script>
  <!-- 1466440239: Accept with keywords: (title(0.25):中国,统计学,服务平台,门户网站, topn(0.5):故事,马尔科夫,统计学,R语言,分布,数据分析,经验,后验,假设,模型,参数,文章,情况,数据,正态分布,结构,教授,公式,问题,算法,英雄,先验,经典,误差,会议,概率密度函数,框架,评论,频率,时候).-->
 </head>
 <body class="single single-post postid-5665 single-format-standard sidebar" onload="">
  <div class="header">
   <div class="container">
    <div class="row">
     <div class="col-xs-6 col-sm-6 text-left">
      <a href="/databee">
       <img src="http://nautidea-10007657.cos.myqcloud.com/logo_white.png"/>
      </a>
      <a href="/databee">
       <p>
        数螺
       </p>
      </a>
     </div>
     <div class="hidden-xs col-sm-6 text-right">
      <p>
       致力于数据科学的推广和知识传播
      </p>
     </div>
    </div>
   </div>
  </div>
  <div class="container text-center">
   <h1>
    YangCan: 那些年，我们一起追的EB
   </h1>
  </div>
  <div class="container" id="xmain">
   <div class="hfeed site" id="page">
    <header class="site-header" id="masthead" role="banner">
     <div id="cos-logo">
      <a href="http://cos.name/">
       <img src="http://cos.name/wp-content/themes/COS-kermesinus/images/headers/cos-logo.png"/>
      </a>
     </div>
     <div class="navbar" id="navbar">
      <nav class="navigation main-navigation" id="site-navigation" role="navigation">
       <h3 class="menu-toggle">
        菜单
       </h3>
       <a class="screen-reader-text skip-link" href="http://cos.name/2012/05/chase-after-eb/#content" title="跳至内容">
        跳至内容
       </a>
       <div class="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95-container">
        <ul class="nav-menu" id="menu-%e6%88%91%e7%9a%84%e8%8f%9c%e5%8d%95">
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-home menu-item-4746" id="menu-item-4746">
          <a href="http://cos.name">
           主页
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-8120" id="menu-item-8120">
          <a href="http://cos.name/cn">
           论坛
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8124" id="menu-item-8124">
            <a href="http://cos.name/cn/wp-login.php?action=register">
             论坛注册
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8125" id="menu-item-8125">
            <a href="http://cos.name/cn/wp-login.php">
             论坛登录
            </a>
           </li>
          </ul>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8110" id="menu-item-8110">
          <a href="http://cos.name/books/">
           图书资料
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8112" id="menu-item-8112">
          <a href="http://cos.name/videos">
           视频教程
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8333" id="menu-item-8333">
          <a href="http://cos.name/salon/">
           统计沙龙
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8111" id="menu-item-8111">
          <a href="http://cos.name/chinar/">
           R语言会议
          </a>
         </li>
         <li class="menu-item menu-item-type-post_type menu-item-object-page menu-item-8109" id="menu-item-8109">
          <a href="http://cos.name/training/">
           讲座与培训
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8115" id="menu-item-8115">
          <a href="http://cos.name/cn/forum/comprehensive/job/">
           招聘信息
          </a>
         </li>
         <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-has-children menu-item-4780" id="menu-item-4780">
          <a href="http://cos.name/about">
           关于我们
          </a>
          <ul class="sub-menu">
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8113" id="menu-item-8113">
            <a href="http://cos.name/2008/11/how-to-work-with-cos/">
             加入我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8119" id="menu-item-8119">
            <a href="http://cos.name/donate/">
             赞助我们
            </a>
           </li>
           <li class="menu-item menu-item-type-custom menu-item-object-custom menu-item-8114" id="menu-item-8114">
            <a href="http://cos.name/cn/forum/26">
             项目合作
            </a>
           </li>
          </ul>
         </li>
        </ul>
       </div>
       <form action="http://cos.name/" class="search-form" method="get" role="search">
        <label>
         <span class="screen-reader-text">
          搜索：
         </span>
        </label>
       </form>
      </nav>
      <!-- #site-navigation -->
     </div>
     <!-- #navbar -->
    </header>
    <!-- #masthead -->
    <div class="site-main" id="main">
     <div class="content-area" id="primary">
      <div class="site-content" id="content" role="main">
       <article class="post-5665 post type-post status-publish format-standard hentry category-classical category-computing tag-bootstrap tag-efron tag-lars" id="post-5665">
        <header class="entry-header">
         <h1 class="entry-title">
          那些年，我们一起追的EB
         </h1>
         <div class="entry-meta">
          <span class="date">
           <a href="http://cos.name/2012/05/chase-after-eb/" rel="bookmark" title="链向那些年，我们一起追的EB的固定链接">
            <time class="entry-date" datetime="2012-05-26T00:32:12+00:00">
             2012/05/26
            </time>
           </a>
          </span>
          <span class="categories-links">
           <a href="http://cos.name/category/classical/" rel="category tag">
            经典理论
           </a>
           、
           <a href="http://cos.name/category/computing/" rel="category tag">
            统计计算
           </a>
          </span>
          <span class="tags-links">
           <a href="http://cos.name/tag/bootstrap/" rel="tag">
            Bootstrap
           </a>
           、
           <a href="http://cos.name/tag/efron/" rel="tag">
            Efron
           </a>
           、
           <a href="http://cos.name/tag/lars/" rel="tag">
            lars
           </a>
          </span>
          <span class="author vcard">
           <a class="url fn n" href="http://cos.name/author/eeyangc/" rel="author" title="查看所有由eeyangc发布的文章">
            eeyangc
           </a>
          </span>
         </div>
         <!-- .entry-meta -->
        </header>
        <!-- .entry-header -->
        <div class="entry-content">
         <p>
          写了
          <a href="http://cos.name/2011/12/stories-about-statistical-learning/" target="_blank" title="统计学习那些事">
           《统计学习那些事》
          </a>
          ，很多童鞋都表示喜欢，这让我越来越觉得冯导的一句话很有道理：“我的电影一向只伺候中国观众，还没想过拍给全世界人民看。这就跟献血一样，本身是好事，但如果血型不对，输进去的血也会产生排异现象。我的‘血型’就适合中国人，对不上世界观众，别到时伤了我的身子骨，还伤害了世界观众，所以我暂时不会‘献血’。”比如他的《天下无贼》，我就特别喜欢。然而天下可以无贼，却不可以没有英雄（不是张导的那个《英雄》）。今天我要写的是统计界的英雄以及英雄的故事。英雄的名字叫 EB，英雄的故事也叫 EB。
         </p>
         <p style="text-align: center;">
          <a href="http://statweb.stanford.edu/~ckirby/brad/images/efron.jpg">
           <img src="http://statweb.stanford.edu/~ckirby/brad/images/efron.jpg"/>
          </a>
          <span id="more-5665">
          </span>
         </p>
         <h2 style="text-align: center;">
          1 谁是 EB？
         </h2>
         <p>
          故事的主人公自然是 Efron Bradley(EB)。今年的 5 月 24 日，是他 74 岁生日。从他拿到 PhD 的那年算起，正好五十年。他对统计学的贡献是巨大的，必将永远载入人类史册。正如爱因斯坦所说：“方程对我而言更重要些，因为政治是为当前，而一个方程却是一种永恒的东西（Equations are more important to me, because politicsis for the present, but anequation is something for eternity）。”人生天地之间，如白驹过隙，忽然而已。然而，经典就永远是经典。若干年后，人们遥想 Efron 当年，LARS 初嫁了。雄姿英发，羽扇纶巾。谈笑间，LB[1] 灰飞烟灭…… 于是乎，江山如画，一时多少豪杰! 总之，LARS 的故事必然成为统计学史上的一段佳话。
         </p>
         <figure class="wp-caption aligncenter" id="attachment_6819" style="width: 500px">
          <a href="http://cos.name/wp-content/uploads/2013/01/citation.png">
           <img src="http://cos.name/wp-content/uploads/2013/01/citation-500x269.png"/>
          </a>
          <figcaption class="wp-caption-text">
           图1：此图来源于Bulhmann教授的一篇文章。右边是Efron教授的成名绝技Bootstrap。左边四个中有两个都与Efron教授有很大的关系：1.Lasso。2.FDR。
          </figcaption>
         </figure>
         <p style="text-align: left;">
          或许，对 EB 而言，至今让他回味无穷的另有其事。那就是，五十多年前，他为 Stanford 的一本幽默杂志 Chapparal 做主编。那年，他们恶搞 (parody) 了著名杂志 Playboy。估计是恶搞得太给力了，还受到当时三藩的大主教的批评。幽默的力量使 Efron 在“错误”的道路上越走越远，差点就不回 Stanford 读 PhD 了[2]。借用前段时间冰岛外长的语录：“Efron 从事娱乐时尚界的工作，是科学界的一大损失！”在关键时刻，Efron 在周围朋友的关心和支持下，终于回到 Stanford，开始把他的犀利与机智用在 statistics 上。告别了娱乐时尚界的 EB，从此研究成果犹如滔滔江水，连绵不绝[3]，citation 又如黄河泛滥，一发不可收拾，如图1所示。
         </p>
         <h2 style="text-align: center;">
          2 啥是 EB？
         </h2>
         <p>
          对 Efron 教授而言，其实 LARS 只是顺手拈来，Bootstrap[4] 才是他的成名绝技（他因此获得国家科学奖章，美国科学界最高荣誉）。在 20 世纪 70 年代的时候，他便把计算机引入统计学，那是具有相当的远见卓识。近年来，他更加关注的是 Large-scale Inference，所采用的核心概念便是 Empirical Bayes(EB)。这里也有很多故事，比如 Jame-Stein Estimator[5]与 Shrinkage operator 的联系[6]。
         </p>
         <p>
          要把 EB 说清楚，得先说统计学的两派：频率派 (Frequentists) 和贝叶斯派 (Bayesians)。频率派以大规模试验下某事件出现的频率来理解概率。他们认为只要重复足够多次，事情自然就会水落石出，不需要任何人为干预，即客观性。然而，现实生活中如何判断出现某个事件的概率呢？难道动不动就要试个千八百遍？贝叶斯派说，只要有先验知识并运用贝叶斯公式 (Bayes Rule) 就行了。于是挑战者来了，“人的正确思想是从哪里来的？是从天上掉下来的吗？不是。是自己头脑里固有的吗？不是。”毛主席教导我们，“人的正确思想，只能从社会实践中来。”这就对了，
          <strong>
           Empirical Bayes（经验贝叶斯）本质上就是像贝叶斯一样分配先验分布，再利用经验数据去估计先验分布。正所谓，“enjoy the Bayesian omelet without breaking the Bayesian eggs.”
          </strong>
          Efron 教授说 EB 很好用，不管你信不信，反正我信了。
         </p>
         <h4>
          <strong>
           2.1 James-Stein Estimator
          </strong>
         </h4>
         <p>
          先来一个简约不简单的例子。现已观察到 $N$ 个 $z$ 值，即 $[z_1,z_2,\dots,z_N]$，还知道 $z_i$ 独立地来自以 $\mu_i$ 为均值，方差为 1 的正态分布，即 $z_i|\mu_i \sim \mathcal{N}(\mu_i,1)$, $i=1,2,\dots,N$. 问题是：如何从观察到的 $\mathbf{z} =[z_1,z_2,\dots,z_N]$ 估计 $\boldsymbol{\mu}=[\mu_1,\mu_2,\dots,\mu_N]$？地球人都知道有一种方法去估计  $\boldsymbol{\mu}=[\mu_1,\mu_2,\dots,\mu_N]$，那就是 $\hat{\boldsymbol{\mu}}=\mathbf{z}$，即 $\hat{\mu}_i = z_i,i =1, 2,\dots,N$。其实，这就是最大似然估计，记为 $\hat{\boldsymbol{\mu}}_{ML}$。现在的问题是：有没有更好的办法呢？答案是肯定的！那就是传说中的 James-Stein Estimator，
          <br/>
          $\begin{equation}
          <br/>
          \hat{\boldsymbol{\mu}}_{JS}=(1-\frac{N-2}{{\Vert \mathbf{z} \Vert}^2})\mathbf{z}.
          <br/>
          \end{equation}$
         </p>
         <p>
          只要 $N \geq 3$，$\hat{\boldsymbol{\mu}}_{JS}$ 的误差总是比 $\hat{\boldsymbol{\mu}}_{ML}$ 的误差小[7]。从公式 (1) 看，$\hat{\boldsymbol{\mu}}_{JS}$ 比 $\hat{\boldsymbol{\mu}}_{ML}$ 多了一个 shrinkage:$(1-\frac{N-2}{{\Vert \mathbf{z} \Vert}^2})$，最重要的也是最有趣的是知道这个 shrinkage 怎么来的。已知$z_i|\mu_i \sim\mathcal{N}(\mu_i,1)$，即已知条件概率 $f(z_i|\mu_i)$，现在假设 $\mu_i \sim \mathcal{N}(0, \sigma^2),i = 1, \dots, N$，即假设先验概率 $g(\mu_i)$，求出后验期望 $E(\mu_i|z_i)$，并用它作为$ \mu_i$ 的估计。运用贝叶斯公式，再加上这里$f(z_i|\mu_i)$ 和$g(\mu_i)$ 都是高斯分布，我们可以解析地得到[8]:
         </p>
         <ul>
          <li>
           $z_i $的边际分布：
          </li>
         </ul>
         <p>
          $ \begin{equation}
          <br/>
          z_i \sim \mathcal {N}(0, 1+\sigma^2)
          <br/>
          \end{equation} $
         </p>
         <ul>
          <li>
           $\mu_i$的后验分布：
          </li>
         </ul>
         <p>
          $\begin{equation}
          <br/>
          \mu_i|z_i \sim \mathcal{N}\left( (1-\frac{1}{1+\sigma^2})z_i, \frac{\sigma^2}{1+\sigma^2}\right).
          <br/>
          \end{equation}$
         </p>
         <p>
          于是可得
         </p>
         <p>
          $\begin{equation}
          <br/>
          \mathbb{E}(\mu_i|z_i)=(1-\frac{1}{\sigma^2+1})z_i.
          <br/>
          \end{equation}$
         </p>
         <p>
          注意，这里 $\sigma^2$ 是不知道的，需要估计 $\sigma^2$。经验贝叶斯就在这里起作用了，即用观察到的数据去估计 $\sigma^2$。下面需要用到统计学里面的两个常识[9]：第一，如果随机变量 $z_i,i=1,2,\dots,N$ 都独立地来自标准正态分布，那么他们的平方和服从自由度为 $N$ 的 $\chi^2$ 分布，即 $Q=\sum^N_{i=1}z^2_i\sim \chi^2_N$。第二，如果 $Q\sim \chi^2_N$ ，那么 $1/Q$服从自由度为 $N$ 的 Inverse-$\chi^2$ 分布，$\mathbb{E}(1/Q)=\frac{1}{N-2}$。现在来估计 $\sigma^2$。根据式(3)，我们知道 $\frac{z_i}{1+\sigma^2}\sim \mathcal{N}(0,1)$，进一步可知 $\left(\frac{1}{\sum^N_{i=1} \frac{z^2_i}{1+\sigma^2}}\right)$ 服从 Inverse-$\chi^2$ 分布，且 $\mathbb{E}\left(\frac{1}{\sum^N_{i=1} \frac{z^2_i}{1+\sigma^2}}\right)=\frac{1}{N-2}$。 因此我们可以用 $\frac{N-2}{\sum^N_{i=1}z^2_i}$ 作为对 $\frac{1}{1+\sigma^2}$ 的估计。这样就得到神奇的 James-Stein Estimator(1)。有一点是值得注意和思考的，在估计 $\mu_i$ 的时候，James-Stein Estimator 实际上用到了所有的 $z_i$ 的信息，尽管每个 $z_i$ 都是独立的。Efron 教授把这个称为“Learning from experience of others”。
         </p>
         <p>
          我们试着从其它角度来看这个问题。能否通过对下面这个问题的求解来估计 $\boldsymbol{\mu}$ 呢？
          <br/>
          $\begin{equation}
          <br/>
          \min_{\boldsymbol{\mu}} \|\mathbf{z}-\boldsymbol{\mu}\|^2 + \lambda\|\boldsymbol{\mu}\|^2
          <br/>
          \end{equation}$
          <br/>
          其中 $\lambda$ 是待确定的一个参数。容易看出 $\boldsymbol{\mu}$ 有解析解：
          <br/>
          $\begin{equation}
          <br/>
          \boldsymbol{\mu} = \frac{1}{1+\lambda}\mathbf{z}.
          <br/>
          \end{equation}$
          <br/>
          式(7)是不是和式(5)惊人的相似？一个是 $\lambda$ 未知，一个是 $\sigma^2$ 未知。其实，式(6)就是频率派常用的 Ridge regression，$\lambda$ 常常通过交叉验证(Cross-validation)来确定。
         </p>
         <p>
          还有没有其他角度呢？答案是肯定的。参见 Bishop 书 Pattern recognition and machine learning Section 3.5。做机器学习的，称这个方法为“Evidence approximation”或者“type 2 maximum likelihood”，实际上也就是经验贝叶斯。总结一下，啥叫 EB？就是像贝叶斯学派一样假设先验分布，并且利用经验数据来估计先验分布的方法，就是经验贝叶斯。贝叶斯的框架是比较容易掌握的，即假设先验分布，写出 likelihood，后验分布则正比于这二者的乘积，然后通常用 MCMC[10] 来求解（当然，真正的贝叶斯高手会根据问题的特点来设计模型，加速求解）。一旦掌握这个框架，在这个框架下做事，则是不会出错的。这大概就是 Science （有规则可循，遵守这些规律就搞定）。EB 有些不同，虽然参照了贝叶斯的框架，但如何利用经验数据来估计先验分布则看个人修养了，有点像搞艺术的感觉，做得好，如同蒙拉丽莎的微笑，无价之宝；做得不好嘛，就无人问津了。下面进一步谈欣赏艺术的感受。
         </p>
         <h4>
          <strong>
           2.2 Tweedie’s formula
          </strong>
         </h4>
         <p>
          James-Stein Estimator的贝叶斯先验是这样假设的：$\mu \sim \mathcal{N}(0,\sigma^2)$（为简洁起见，从这里开始我们省略了下标 $i$）。当然也可以不这样假设，我们只需要假设存在一个分布 $g(\cdot)$，即
         </p>
         <p>
          $\begin{equation}
          <br/>
          \mu \sim g(\cdot),\quad z|\mu \sim \mathcal{N}(\mu,1).
          <br/>
          \end{equation}$
         </p>
         <p>
          可知 $z$ 的边际分布为
         </p>
         <p>
          $\begin{equation}
          <br/>
          f(z)=\int^{\infty}_{-\infty} \varphi(z-\mu) g(\mu) d\mu
          <br/>
          \end{equation}$
         </p>
         <p>
          其中，$\varphi(x)=\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{x^2}{2}\right)$ 是标准正态分布的概率密度。$\mu$ 的后验分布为
         </p>
         <p>
          $\begin{equation}
          <br/>
          g(\mu|z)=\varphi(z-\mu)g(\mu)/f(z).
          <br/>
          \end{equation}$
         </p>
         <p>
          注意我们想知道只是 $\mathbb{E}(\mu|z)$。在见证奇迹之前，需要知道一点点指数家族(exponential family)的事。指数家族的概率密度[11]可以写为
         </p>
         <p>
          $\begin{equation}
          <br/>
          h(x)=\exp(\eta x -\psi(\eta))h_0(x).
          <br/>
          \end{equation}$
         </p>
         <p>
          其中，$\eta$ 叫自然参数(natural paramter)，$\psi(\eta)$ 叫矩发生函数(cumulant generating function，等会就明白啥意思了)。这些名字是挺难叫的，但是这些概念又确实重要，不取个名字更麻烦，既然大家都这么叫，就学着叫吧。来几个简单的例子，一下就明白(11)并不是那么抽象了。比如正态分布 $\mathcal{N}(\mu,1)$ 的概率密度函数，
         </p>
         <p>
          $\begin{equation}
          <br/>
          h(x)=\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{(x-\mu)^2}{2}\right)=\exp(\mu x-\frac{\mu^2}{2})\varphi(x).
          <br/>
          \end{equation}$
         </p>
         <p>
          比较一下式(12)与式(11)，就知道 $\eta=\mu$,$\psi(\eta)=\eta^2/2$。再比如泊松分布的概率密度函数，
         </p>
         <p>
          $\begin{equation}
          <br/>
          h(x) = \frac{\exp(-\mu)\mu^x}{x!}=\frac{\exp\left(\log(\mu)x-\mu\right)}{x!}
          <br/>
          \end{equation}$
         </p>
         <p>
          于是可知 $\eta=\log\mu,\psi(\eta)=\exp(\eta)$。好，现在回答为啥 $\psi(\eta)$ 叫矩发生函数。因为式(11)中的 $h(x)$ 是一个合法的概率密度函数，$h(x)$ 必须满足
         </p>
         <p>
          $\begin{equation}
          <br/>
          \exp(-\psi(\eta))\int \exp(\eta x )h_0(x) dx=1.
          <br/>
          \end{equation}$
         </p>
         <p>
          在式(14)两边同时对 $\eta/$ 求导，
         </p>
         <p>
          $\begin{equation*}
          <br/>
          -\frac{d\psi(\eta)}{\eta} \exp(-\psi(\eta))\int \exp(\eta x) h_0(x)dx + \exp(-\psi(\eta))\int \exp(\eta x) h_0(x) x dx=0.\nonumber
          <br/>
          \end{equation*}$
         </p>
         <p>
          根据式(14)得
          <br/>
          $\begin{equation}
          <br/>
          -\frac{d\psi(\eta)}{\eta} + \exp(-\psi(\eta))\int \exp(\eta x) h_0(x) x dx=0.
          <br/>
          \end{equation}$
         </p>
         <p>
          由式(14)还可知 $\exp(-\psi(\eta))\int \exp(\eta x) h_0(x) x dx = \int x h(x)dx =\mathbb{E}(x)$.于是式(15)可以写为
         </p>
         <p>
          $\begin{equation}
          <br/>
          \frac{d\psi(\eta)}{d\eta} = \mathbb{E}(x).
          <br/>
          \end{equation}$
         </p>
         <p>
          即对 $\psi(\eta)$ 求一阶导数，可以得到一阶矩，即期望，再继续求导下去，得到二阶矩，即方差
         </p>
         <p>
          $\begin{equation}
          <br/>
          \frac{d^2\psi(\eta)}{d\eta^2} = \mathbb{V}(x).
          <br/>
          \end{equation}$
         </p>
         <p>
          以此类推。这就是 $\psi(\eta)$ 名字的由来。
         </p>
         <p>
          好了，见证奇迹的时候到了！式(10})可以写为
          <br/>
          $\begin{equation}
          <br/>
          \begin{aligned}
          <br/>
          g(\mu|z)&amp;=\varphi(z-\mu)g(\mu)/f(z) \\
          <br/>
          &amp;=\frac{1}{\sqrt{2\pi}}\exp\left(-\frac{(z-\mu)^2}{2}\right)g(\mu)/f(z)\\
          <br/>
          &amp;= \left[\exp\left(z\mu\right)\right] \left[\frac{1}{\sqrt{2\pi}} \exp\left(-\frac{z^2}{2}\right)/f(z) \right] \left[\exp\left(-\frac{\mu^2}{2}\right)g(\mu)\right]\\
          <br/>
          &amp;= \left[\exp\left(z\mu -\log \frac{f(z)}{\frac{1}{\sqrt{2\pi}} \exp\left(-\frac{z^2}{2}\right)} \right)\right]
          <br/>
          \left[\exp\left(-\frac{\mu^2}{2}\right)g(\mu)\right].
          <br/>
          \end{aligned}
          <br/>
          \end{equation}$
         </p>
         <p>
          把 $z$ 可以看做自然参数，对 $\psi(z)=\log \frac{f(z)}{\frac{1}{\sqrt{2\pi}} \exp\left(-\frac{z^2}{2}\right)}$ 关于$z$求导即可得
         </p>
         <p>
          $\begin{equation}
          <br/>
          \mathbb{E}(\mu|z) = z + \frac{d}{dz}\log f(z).
          <br/>
          \end{equation}$
         </p>
         <p>
          其中，$z$ 是最大似然估计，$\frac{d}{dz}\log f(z)$ 可以看做贝叶斯修正。式(19)被称为Tweedie’s formula。
          <strong>
           最神奇的是：Tweedie’s formula 并不包含先验分布 $g(\cdot)$，而只用到了$z$ 的边际分布 $f(z)$。
          </strong>
          接下来的事件就简单了，根据观察到的经验数据 $\mathbf{z}=[z_1,z_2,\dots,z_N]$ 直接去估计 $f(z)$。 当 $N$ 较大的时候，$f(z)$ 可以估计得很准。
         </p>
         <h2 style="text-align: center;">
          3 浅草才能没马蹄
         </h2>
         <p>
          古诗云：乱花渐欲迷人眼，浅草才能没马蹄。花太多容易迷失方向，草太深则跑不了马。所以，一定要“浅”才行。
         </p>
         <p>
          前面的数学推导，读起来肯定不流畅（我也写得累啊），尤其是对这些东西不太熟悉的童鞋。好吧，现在简单地总结一下。前面的讨论都是基于图 2 所示的结构。不同的只在于对先验分布 $g(\cdot)$ 的选取。James-Stein Estimator 假设$g(\cdot)$ 是高斯分布，Tweedie’s formula 则没有。从这个意义上说，Tweedie’s formula 适用范围更广(flexible)，但需要较多的数据来估计 $g(\cdot)$。换一个角度说，当数据不够的时候，往往假设 $g(\cdot)$ 具有某种参数形式会更好一些。类似的情况可以比较最近邻域法和线性回归[12]：最近邻域法是非 常flexible 的，在低维数据分析中很好用，因为总是有足够数据支持这种 flexibility，但在高维情况下效果就很差。线性模型在高维数据分析中往往表现出惊人的性能，就在于它简单的结构。
          <br/>
          <em>
           总之，不能说一个模型越通用就越好，更不能说一个模型越简单就越不好。关键看什么情况下用以及怎么用！乔峰打出的少林长拳都是虎虎生威的！
          </em>
         </p>
         <figure class="wp-caption aligncenter" id="attachment_6823" style="width: 500px">
          <a href="http://cos.name/wp-content/uploads/2013/01/JS.png">
           <img src="http://cos.name/wp-content/uploads/2013/01/JS-500x325.png"/>
          </a>
          <figcaption class="wp-caption-text">
           图2：James-Stein Estimator结构图。
          </figcaption>
         </figure>
         <figure class="wp-caption aligncenter" id="attachment_6822" style="width: 500px">
          <a href="http://cos.name/wp-content/uploads/2013/01/HMM.png">
           <img src="http://cos.name/wp-content/uploads/2013/01/HMM-500x216.png"/>
          </a>
          <figcaption class="wp-caption-text">
           图3：HMM或者Kalman filter结构图。
          </figcaption>
         </figure>
         <p>
          现在要问的是，除了图 2 这种结构，还有没有其它结构呢？答案还是肯定的，如图 3 所示。当 $\mu$ 的状态是离散的时候，这就是著名的 HMM(Hidden Markov Model，隐马尔科夫链)；当 $\mu$ 的状态是连续的时候，这就是著名的Kalman filter （卡尔曼滤波）。值得一提的是，多层次线性模型 (Hierarchical linear models) 也源自于此，LMM(linear mixed model，昵称“林妹妹”吧)也可以有经验贝叶斯的理解，此处略去 $n$ 个字。天下武功，若说邪的，那是各有各的邪法，若说正的，则都有一种“天下武功出少林”的感觉。不管你们有没有震惊，我当时意识到“这股浩然正气”的时候，是相当震惊的。
          <em>
           这里我还得再次表达《统计学习那些事》里面的一个观点，那就是，只有一个模型结构是不够的，还需要快速的算法去优化模型。HMM 和 Kalman filter 之所以听上去就这么如雷贯耳，还在于他们都有很好的算法。没有算法，也就没法执行，将神马都不是。掌握一个模型，除了掌握它和其它模型的联系之外，还需要掌握它的算法。如果老师只让学生学模型的大致结构，就如同赵志敬只教杨过背全真教的内功心法一样，到比武的时候，武学天才的杨过连鹿清笃都搞不定，由此可知后果是相当严重的。学算法，最好的办法就是自己亲自去试一下，试的时候就知道能不能和内功心法映证了。我记得小学时候的一篇课文《小马过河》，亲自实验的结果很可能是：“河水既没有老牛说的那么浅，也没有小松鼠说的那么深”。
          </em>
         </p>
         <figure class="wp-caption aligncenter" id="attachment_6821" style="width: 500px">
          <a href="http://cos.name/wp-content/uploads/2013/01/EmpBayes.png">
           <img src="http://cos.name/wp-content/uploads/2013/01/EmpBayes-500x297.png"/>
          </a>
          <figcaption class="wp-caption-text">
           图4：经验贝叶斯（黑色实线）与shrunken centroids(绿色虚线)。红色虚线是经验贝叶斯估计的标准差。
          </figcaption>
         </figure>
         <h2 style="text-align: center;">
          4 神龙摆尾
         </h2>
         <p>
          2000年到2008年，Efron 教授主要致力于研究 Large-scale Inference，他有关 False Discovery Rate(FDR) 的经验贝叶斯解释，给人拨云见日的感觉。2008 年的时候，Efron 教授突然神龙摆尾，用经验贝叶斯做预测[13]。他用到了 $\mu\sim g(\cdot),z|\mu \sim \mathcal{N}(\mu,1)$，根据 Tweedie’s formula(19) 得到 $\mathbb{E}(\mu|z)$。 他观察到一个很有意思的情况：他的结果与 Tibshirani 的shrunken centroids (SC) 给出的结果很相似，如图 4 所示。我们可以看到两点吧：第一，在大规模推理 (Large-scale-inference) 时，有很多 $\mu=0$。第二，就算$\mu\neq0$，$|\mu|$ 也比实际观察到的 $|z|$ 要小。比如，实际观察到的$z=4$，不能因此认为 $\mu=4$，经验贝叶斯（Tweedie’s formula）告诉我们，$\mathbb{E}{(\mu|z)}=2.74$。同样的，$z=-4$ 时，$\mathbb{E}{(\mu|z)}=-3.1$。这表明真实情况往往没有直接观察到的情况那么极端。
          <em>
           现实生活中，我们也会发现，网络上表扬谁或者批评谁的言论，大多都会因为偏激而失真。真实的情况往往没有歌颂的这么好，当然也不会到诋毁的那么差。一个比较理性的做法是shrink （收缩）一下，从而洞察真相。统计学为这种【中庸】的思考方式提供了强有力的支持。
          </em>
         </p>
         <figure class="wp-caption aligncenter" id="attachment_6824" style="width: 500px">
          <a href="http://cos.name/wp-content/uploads/2013/01/shrinkage.png">
           <img src="http://cos.name/wp-content/uploads/2013/01/shrinkage-500x291.png"/>
          </a>
          <figcaption class="wp-caption-text">
           图5：Shrinkage operators。
          </figcaption>
         </figure>
         <p>
          EB 与 SC 紧密相连，SC 又与 Lasso 紧密相连[14]。SC 有更多的假设，如 feature 之间是独立的，Lasso 更加宽松，但都用了soft-shrinkage operator(对应 $L_1$ penalty)。 当然，shrinkage operator 有很多，比较出名的还有：Hard-shrinkage operator (对应$L_0$ penalty)，Ridge-shrinkage operator(对应$L_2$ penalty)，如图 5 所示。于是我们可以看到一个五彩缤纷的 penalty 世界。近年来，各式各样的 penalty 如雨后春笋般的涌现，个人认为比较成功的有 Elastic net[15] 和 $MC+$ penalty[16]。好了，最后用 Efron 教授办公室的照片(图6)来总结一下吧：那些年，我们一起追的EB。
         </p>
         <figure class="wp-caption aligncenter" id="attachment_6820" style="width: 500px">
          <a href="http://cos.name/wp-content/uploads/2013/01/office.jpg">
           <img src="http://cos.name/wp-content/uploads/2013/01/office-500x281.jpg"/>
          </a>
          <figcaption class="wp-caption-text">
           图6：Efron office at Sequoia hall of Stanford。图片由师弟在逛Stanford时拍下。能否认出照片中的人？
          </figcaption>
         </figure>
         <h2 style="text-align: center;">
          5 结束语
         </h2>
         <p>
          我要这天，再遮不住我眼；要这地，再埋不了我心；要这信号，都明白我意；要那噪音，都烟消云散！
         </p>
         <p>
         </p>
         <p>
          <em>
           <strong>
            注：
           </strong>
          </em>
         </p>
         <ol>
          <li>
           LB不是指“老板”，而是指“Lasso”与“Boosting” 之间的“秘密”。
          </li>
          <li>
           参见A Life in Statistics: Bradley Efron by Julian Champkin for the Royal Statistical Society’s Significance 7, 178-181。
          </li>
          <li>
           代表作由Tibshirani R. 收集在The science of Efron这本书中。
          </li>
          <li>
           http://www-stat.stanford.edu/software/bootstrap/index.html: “Bootstrap” means that one available sample gives rise to many others by resampling (a concept reminiscent of pulling yourself up by your own bootstrap).
          </li>
          <li>
           Jame-Stein Estimator被Efron教授称为“the single most striking result of post-World War II statistical theory”
          </li>
          <li>
           这里还有一个很重要的概念，False Discovery Rate (FDR)，由于篇幅有限，这次就忍痛割爱了。
          </li>
          <li>
           证明的细节参见Efron, B. (2010) Large-Scale Inference: Empirical Bayes Methods for Estimation, Testing, and Prediction, Cambridge University Press, 第一章。
          </li>
          <li>
           不熟悉高斯分布性质的，可以参考Bishop, C. (2006). Pattern recognition and machine learning, Springer, Section 2.3。
          </li>
          <li>
           参见wikipedia: http://en.wikipedia.org/wiki/Chi-squared_distribution与http://en.wikipedia.org/wiki/Inverse-chi-squared_distribution.
          </li>
          <li>
           Monte Carlo Markov Chain，蒙特卡洛马尔科夫链。
          </li>
          <li>
           简单起见，这里只讨论自然参数 $\eta$ 是标量的情况，即单参数指数分布。$\eta$ 是矢量的情况，可以参考Bishop书Section 2.4。
          </li>
          <li>
           参见Elements of statistical learning第二章。
          </li>
          <li>
           Efron B. (2008) Empirical Bayes estimates for large-scale prediction problems。预测(prediction)和推理(Inference)关注的是不同的问题。
          </li>
          <li>
           参见Elements of statistical learning (2nd), Ex18.2。
          </li>
          <li>
           H. Zou, T. Hastie (2005) Regularization and variable selection via the elastic net.
          </li>
          <li>
           R. Mazumder, J. Friedman and T. Hastie: SparseNet : Coordinate Descent with Non-Convex Penalties.
          </li>
         </ol>
         <p>
         </p>
         <p>
          <em>
           <strong>
            PDF下载：
           </strong>
          </em>
          <a href="https://github.com/downloads/cosname/editor/Can-YANG-chase_after_EB.pdf" target="_blank">
           那些年，我们一起追的EB
          </a>
         </p>
         <div class="wumii-hook">
          <br/>
          <br/>
         </div>
        </div>
        <!-- .entry-content -->
        <footer class="entry-meta">
        </footer>
        <!-- .entry-meta -->
       </article>
       <!-- #post -->
       <nav class="navigation post-navigation" role="navigation">
        <h1 class="screen-reader-text">
         文章导航
        </h1>
        <div class="nav-links">
         <a href="http://cos.name/2012/05/r-you-ready/" rel="prev">
          <span class="meta-nav">
           ←
          </span>
          R You Ready?——大数据时代下优雅、卓越的统计分析及绘图环境
         </a>
         <a href="http://cos.name/2012/05/5th-china-r-beijing-summary/" rel="next">
          第五届中国R语言会议（北京会场）纪要
          <span class="meta-nav">
           →
          </span>
         </a>
        </div>
        <!-- .nav-links -->
       </nav>
       <!-- .navigation -->
       <div class="comments-area" id="comments">
        <h2 class="comments-title">
         《
         <span>
          那些年，我们一起追的EB
         </span>
         》有32个想法
        </h2>
        <ol class="comment-list">
         <li class="comment even thread-even depth-1 parent" id="comment-3082">
          <article class="comment-body" id="div-comment-3082">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/b49d125d112a01106b48a2fcda481c3e?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://blog.programet.org" rel="external nofollow">
               Tom Hall
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-3082">
              <time datetime="2012-05-26T12:37:50+00:00">
               2012/05/26 12:37
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             这是……递归还是卖萌……
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Tom Hall" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3082#respond" onclick='return addComment.moveForm( "div-comment-3082", "3082", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-taiyun odd alt depth-2" id="comment-3112">
            <article class="comment-body" id="div-comment-3112">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/beb15ba775be6241a4e5fc9e476e36c0?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                <a class="url" href="http://taiyun.cos.name/" rel="external nofollow">
                 魏太云
                </a>
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2012/05/chase-after-eb/#comment-3112">
                <time datetime="2012-06-03T11:26:59+00:00">
                 2012/06/03 11:26
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               是之前弄错了，见谅啊:)
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给魏太云" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3112#respond" onclick='return addComment.moveForm( "div-comment-3112", "3112", "respond", "5665" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1" id="comment-3083">
          <article class="comment-body" id="div-comment-3083">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/b49d125d112a01106b48a2fcda481c3e?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://blog.programet.org" rel="external nofollow">
               Tom Hall
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-3083">
              <time datetime="2012-05-26T12:38:53+00:00">
               2012/05/26 12:38
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             原来隐藏很深啊……
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Tom Hall" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3083#respond" onclick='return addComment.moveForm( "div-comment-3083", "3083", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-3114">
          <article class="comment-body" id="div-comment-3114">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/40e41feea676d341555537ea667f2af4?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              祝迎春
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-3114">
              <time datetime="2012-06-03T13:34:34+00:00">
               2012/06/03 13:34
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             最后一句的典故来自《悟空传》啊。隐马尔科夫链这次r会议上也有讲啊
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给祝迎春" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3114#respond" onclick='return addComment.moveForm( "div-comment-3114", "3114", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment byuser comment-author-yihui even thread-odd thread-alt depth-1" id="comment-3115">
          <article class="comment-body" id="div-comment-3115">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/1022d8e6ebc94e8f6bca9a86cebe312a?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://yihui.name" rel="external nofollow">
               谢益辉
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-3115">
              <time datetime="2012-06-03T22:59:31+00:00">
               2012/06/03 22:59
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             “JS估计量比ML误差小”可能得说清楚是在均方误差（MSE）意义下小，JS可以在整体MSE下打败ML，对每个参数自身来说，JS估计量不一定是MSE最小的。
            </p>
            <p>
             谢谢杨灿一如既往的好文！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给谢益辉" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3115#respond" onclick='return addComment.moveForm( "div-comment-3115", "3115", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1 parent" id="comment-3116">
          <article class="comment-body" id="div-comment-3116">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/c2042dd73e1c36bb03f7002055168bf5?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              jalew
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-3116">
              <time datetime="2012-06-04T15:35:04+00:00">
               2012/06/04 15:35
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             公式（6）漏了z变量|| z – u ||^2 + lambda|| u ||^2.   🙂
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给jalew" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3116#respond" onclick='return addComment.moveForm( "div-comment-3116", "3116", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-eeyangc bypostauthor even depth-2" id="comment-3119">
            <article class="comment-body" id="div-comment-3119">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/d142729427ecc897f7d832a4b62f80f4?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                eeyangc
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2012/05/chase-after-eb/#comment-3119">
                <time datetime="2012-06-06T23:01:54+00:00">
                 2012/06/06 23:01
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               已更正，谢谢！
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给eeyangc" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3119#respond" onclick='return addComment.moveForm( "div-comment-3119", "3119", "respond", "5665" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1 parent" id="comment-3118">
          <article class="comment-body" id="div-comment-3118">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/6fab367ea247e9a1079e97d4bc6bb749?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              Ron
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-3118">
              <time datetime="2012-06-06T22:54:41+00:00">
               2012/06/06 22:54
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             有一疑惑：Tweedie’s formula中只要求z的边缘分布 那么这个边缘分布如何求呢？也拆成似然和先验再积分吗？那如果一个参数对n个样本怎么求n个z的分布呢？求解答~
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Ron" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3118#respond" onclick='return addComment.moveForm( "div-comment-3118", "3118", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-eeyangc bypostauthor even depth-2 parent" id="comment-3120">
            <article class="comment-body" id="div-comment-3120">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/d142729427ecc897f7d832a4b62f80f4?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                eeyangc
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2012/05/chase-after-eb/#comment-3120">
                <time datetime="2012-06-06T23:07:28+00:00">
                 2012/06/06 23:07
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               已经观察的所有的z，画出histogram, 每个bin的counts 正比于 N*d*f(z)，d为bin的宽度。拟合Poisson regression，就可以得到f(z) .详见http://www-stat.stanford.edu/~omkar/329/chapter5.pdf Section 5.2
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给eeyangc" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3120#respond" onclick='return addComment.moveForm( "div-comment-3120", "3120", "respond", "5665" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
            <ol class="children">
             <li class="comment odd alt depth-3" id="comment-3123">
              <article class="comment-body" id="div-comment-3123">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/6fab367ea247e9a1079e97d4bc6bb749?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  Ron
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2012/05/chase-after-eb/#comment-3123">
                  <time datetime="2012-06-07T23:31:56+00:00">
                   2012/06/07 23:31
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 真心秒回啊 感谢了！不知我理解的是否正确：如果我得参数只有均值一个不是n个 而样本z有n个这样的话JS估计结果和Tweedie’s formula的结果直接加权平均就可以了吗？
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
             <li class="comment even depth-3" id="comment-3154">
              <article class="comment-body" id="div-comment-3154">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/cead29543edc772b69f84956fd8d0473?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  Ron
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2012/05/chase-after-eb/#comment-3154">
                  <time datetime="2012-06-19T18:25:44+00:00">
                   2012/06/19 18:25
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 收回原来很2的问题。。。现在基本搞清楚了 这篇文章的确为我们开了一个好头 再赞作者~~~
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
            </ol>
            <!-- .children -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1" id="comment-3144">
          <article class="comment-body" id="div-comment-3144">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/a2b870b315745eef8f2823709724ed91?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              熊熹
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-3144">
              <time datetime="2012-06-14T13:52:49+00:00">
               2012/06/14 13:52
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             这是统计青年中的文艺青年啊。。。开始发稿的时候还想了很久EB是
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给熊熹" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3144#respond" onclick='return addComment.moveForm( "div-comment-3144", "3144", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-odd thread-alt depth-1 parent" id="comment-3145">
          <article class="comment-body" id="div-comment-3145">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/3cbb9d009505f29819587b0cff222a73?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              黄兴召
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-3145">
              <time datetime="2012-06-15T17:01:27+00:00">
               2012/06/15 17:01
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             看到了您的文章，对Tweedie’s formula 还没弄懂，想向您咨询一下，你能发个邮件给我吗？邮件可是说的详细一点
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给黄兴召" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3145#respond" onclick='return addComment.moveForm( "div-comment-3145", "3145", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-eeyangc bypostauthor odd alt depth-2" id="comment-3168">
            <article class="comment-body" id="div-comment-3168">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/d142729427ecc897f7d832a4b62f80f4?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                eeyangc
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2012/05/chase-after-eb/#comment-3168">
                <time datetime="2012-06-28T00:59:11+00:00">
                 2012/06/28 00:59
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               Tweedie’s formula 参见http://www-stat.stanford.edu/~ckirby/brad/papers/2011TweediesFormula.pdf
              </p>
              <p>
               如何拟合f(z) 参见Poisson Regression Estimates for f(z)
               <a href="http://www-stat.stanford.edu/~omkar/329/chapter5.pdf" rel="nofollow">
                http://www-stat.stanford.edu/~omkar/329/chapter5.pdf
               </a>
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给eeyangc" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3168#respond" onclick='return addComment.moveForm( "div-comment-3168", "3168", "respond", "5665" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="comment byuser comment-author-eeyangc bypostauthor even thread-even depth-1" id="comment-3173">
          <article class="comment-body" id="div-comment-3173">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/d142729427ecc897f7d832a4b62f80f4?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              eeyangc
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-3173">
              <time datetime="2012-06-30T01:58:29+00:00">
               2012/06/30 01:58
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             为帮助大家理解Tweedie’s formula，来一个R code吧。
            </p>
            <pre>library(splines)
z = c(rnorm(10000), rnorm(500,2,1),rnorm(500,-2,1)) 
bins = seq(min(z)-.1,max(z)+.1, len = 100)
h = hist(z, bins, plot = F)
x = h$m
g  = glm(h$c~ns(x,df=7),family = poisson)
ss = splinefun(x,log(dnorm(x)/g$fit),method = "natural")
mu = -ss(z,deriv=1)
plot(z,mu)</pre>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给eeyangc" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3173#respond" onclick='return addComment.moveForm( "div-comment-3173", "3173", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-3242">
          <article class="comment-body" id="div-comment-3242">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/e787625af13288963c5a63bd2a4e5e82?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              gaotao
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-3242">
              <time datetime="2012-07-26T10:51:49+00:00">
               2012/07/26 10:51
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             暑假再度此文，一股清凉愉悦之气呀！期待把忍痛割爱的FDR补上一篇:)
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给gaotao" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3242#respond" onclick='return addComment.moveForm( "div-comment-3242", "3242", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1 parent" id="comment-3291">
          <article class="comment-body" id="div-comment-3291">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/6a9074860fd55be440e147d7b8ecb32d?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/ajaxlogin.php?framelogin=1&amp;callback=parent.sinaSSOController.feedBackUrlCallBack" rel="external nofollow">
               cyzhope
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-3291">
              <time datetime="2012-08-22T11:13:41+00:00">
               2012/08/22 11:13
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             作者的理解实在精准、透彻，回味无穷！！！“个人认为比较成功的有 Elastic net[15] 和  penalty[16]。”能否就“Elastic net”讲解一番呢？
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给cyzhope" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3291#respond" onclick='return addComment.moveForm( "div-comment-3291", "3291", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-bjt odd alt depth-2 parent" id="comment-3292">
            <article class="comment-body" id="div-comment-3292">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/6ca0529d22d1bf25a1e5cee3af3456f9?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                <a class="url" href="http://www.bjt.name" rel="external nofollow">
                 刘思喆
                </a>
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2012/05/chase-after-eb/#comment-3292">
                <time datetime="2012-08-23T10:02:26+00:00">
                 2012/08/23 10:02
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               简单说：L1是lasso，L2是ridge regression，介于二者之间的（或者说混合）即为Elastic Net
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给刘思喆" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3292#respond" onclick='return addComment.moveForm( "div-comment-3292", "3292", "respond", "5665" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
            <ol class="children">
             <li class="comment even depth-3" id="comment-3293">
              <article class="comment-body" id="div-comment-3293">
               <footer class="comment-meta">
                <div class="comment-author vcard">
                 <img src="http://sdn.geekzu.org/avatar/6a9074860fd55be440e147d7b8ecb32d?s=74&amp;d=monsterid&amp;r=g"/>
                 <b class="fn">
                  <a class="url" href="http://weibo.com/ajaxlogin.php?framelogin=1&amp;callback=parent.sinaSSOController.feedBackUrlCallBack" rel="external nofollow">
                   cyzhope
                  </a>
                 </b>
                 <span class="says">
                  说道：
                 </span>
                </div>
                <!-- .comment-author -->
                <div class="comment-metadata">
                 <a href="http://cos.name/2012/05/chase-after-eb/#comment-3293">
                  <time datetime="2012-08-23T14:44:19+00:00">
                   2012/08/23 14:44
                  </time>
                 </a>
                </div>
                <!-- .comment-metadata -->
               </footer>
               <!-- .comment-meta -->
               <div class="comment-content">
                <p>
                 有点过于简单了，想对Elastic Net有个全面的了解，目前对弹性网有了个基础认识，希望有个像作者这样的对Elastic Net做一个精炼、精准的评述！
                </p>
               </div>
               <!-- .comment-content -->
              </article>
              <!-- .comment-body -->
             </li>
             <!-- #comment-## -->
            </ol>
            <!-- .children -->
           </li>
           <!-- #comment-## -->
           <li class="comment byuser comment-author-eeyangc bypostauthor odd alt depth-2" id="comment-3353">
            <article class="comment-body" id="div-comment-3353">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/d142729427ecc897f7d832a4b62f80f4?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                eeyangc
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2012/05/chase-after-eb/#comment-3353">
                <time datetime="2012-09-27T07:35:48+00:00">
                 2012/09/27 07:35
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               可以看看这里，了解一下来龙去脉。http://www.esi-topics.com/fbp/2006/october06-Zou_Hastie.html
               <br/>
               另外要注意correct double shrinkage。
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给eeyangc" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=3353#respond" onclick='return addComment.moveForm( "div-comment-3353", "3353", "respond", "5665" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="pingback even thread-odd thread-alt depth-1" id="comment-3530">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://www.loyhome.com/%e2%89%aa%e7%bb%9f%e8%ae%a1%e5%ad%a6%e4%b9%a0%e7%b2%be%e8%a6%81the-elements-of-statistical-learning%e2%89%ab%e8%af%be%e5%a0%82%e7%ac%94%e8%ae%b0%ef%bc%88%e5%8d%81%e4%b8%80%ef%bc" rel="external nofollow">
            落园 » ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十一）|专注经济视角下的互联网
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="pingback odd alt thread-even depth-1" id="comment-3794">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://www.loyhome.com/%e2%89%aa%e7%bb%9f%e8%ae%a1%e5%ad%a6%e4%b9%a0%e7%b2%be%e8%a6%81the-elements-of-statistical-learning%e2%89%ab%e8%af%be%e5%a0%82%e7%ac%94%e8%ae%b0%ef%bc%88%e5%8d%81%e4%b8%80%ef%bc" rel="external nofollow">
            落园 » ≪统计学习精要(The Elements of Statistical Learning)≫课堂笔记（十一）|专注经济视角下的互联网
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="pingback even thread-odd thread-alt depth-1" id="comment-5022">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://liangoo.wordpress.com/2013/11/01/%e7%94%b1bootstrap%e5%b1%95%e5%bc%80%e7%9a%84%e4%b8%80%e7%b3%bb%e5%88%97%e4%b8%9c%e4%b8%9c/" rel="external nofollow">
            由Bootstrap展开的一系列东东 | Machine Learning
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-even depth-1 parent" id="comment-5145">
          <article class="comment-body" id="div-comment-5145">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/d582685f23be1273e1f40739ad11023f?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              bnuqiangge
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-5145">
              <time datetime="2013-12-01T21:05:27+00:00">
               2013/12/01 21:05
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             JS估计中，ui后验分布的均值应该为zi/(1+sigma^2)吧！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给bnuqiangge" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=5145#respond" onclick='return addComment.moveForm( "div-comment-5145", "5145", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
          <ol class="children">
           <li class="comment byuser comment-author-eeyangc bypostauthor even depth-2" id="comment-5184">
            <article class="comment-body" id="div-comment-5184">
             <footer class="comment-meta">
              <div class="comment-author vcard">
               <img src="http://sdn.geekzu.org/avatar/d142729427ecc897f7d832a4b62f80f4?s=74&amp;d=monsterid&amp;r=g"/>
               <b class="fn">
                eeyangc
               </b>
               <span class="says">
                说道：
               </span>
              </div>
              <!-- .comment-author -->
              <div class="comment-metadata">
               <a href="http://cos.name/2012/05/chase-after-eb/#comment-5184">
                <time datetime="2013-12-17T15:38:29+00:00">
                 2013/12/17 15:38
                </time>
               </a>
              </div>
              <!-- .comment-metadata -->
             </footer>
             <!-- .comment-meta -->
             <div class="comment-content">
              <p>
               E(u_i|z_i) = z_i – zi/(1+sigma^2), 第一项是MLE，第二项是Bayes 修正。
              </p>
             </div>
             <!-- .comment-content -->
             <div class="reply">
              <a aria-label="回复给eeyangc" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=5184#respond" onclick='return addComment.moveForm( "div-comment-5184", "5184", "respond", "5665" )' rel="nofollow">
               回复
              </a>
             </div>
            </article>
            <!-- .comment-body -->
           </li>
           <!-- #comment-## -->
          </ol>
          <!-- .children -->
         </li>
         <!-- #comment-## -->
         <li class="pingback odd alt thread-odd thread-alt depth-1" id="comment-5552">
          <div class="comment-body">
           Pingback：
           <a class="url" href="http://cos.name/2014/04/lmmandme/" rel="external nofollow">
            YangCan: 昔日因，今日意 | 统计之都 (中国统计学门户网站，免费统计学服务平台)
           </a>
          </div>
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-5570">
          <article class="comment-body" id="div-comment-5570">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://www.renren.com/profile.do?id=351751674" rel="external nofollow">
               胡宗良
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-5570">
              <time datetime="2014-04-23T09:17:30+00:00">
               2014/04/23 09:17
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             现存的最伟大的统计学家 Efron ;蔡天文都这么讲！！高神莫测啊！
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给胡宗良" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=5570#respond" onclick='return addComment.moveForm( "div-comment-5570", "5570", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-5572">
          <article class="comment-body" id="div-comment-5572">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://t.qq.com/qufuhzl" rel="external nofollow">
               胡宗良
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-5572">
              <time datetime="2014-04-23T09:30:33+00:00">
               2014/04/23 09:30
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             Efron
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给胡宗良" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=5572#respond" onclick='return addComment.moveForm( "div-comment-5572", "5572", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-5936">
          <article class="comment-body" id="div-comment-5936">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/qingyuanliu" rel="external nofollow">
               青原的天空
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-5936">
              <time datetime="2014-06-24T22:26:45+00:00">
               2014/06/24 22:26
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             <img src="http://img.t.sinajs.cn/t35/style/images/common/face/ext/normal/70/vw_org.gif"/>
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给青原的天空" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=5936#respond" onclick='return addComment.moveForm( "div-comment-5936", "5936", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-6200">
          <article class="comment-body" id="div-comment-6200">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://t.qq.com/lxyld1111111111111" rel="external nofollow">
               刘易寒
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-6200">
              <time datetime="2014-09-02T11:08:46+00:00">
               2014/09/02 11:08
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             g  = glm(h$c~ns(x,df=7),family = poisson)
             <br/>
             ss = splinefun(x,log(dnorm(x)/g$fit),method = "natural")
             <br/>
             这两句话不是很明白，能展开说说么，特别是第二条语句中的log(dnorm(x)/g$fit)，为何用这个来作y的值？
             <br/>
             不胜感激~~
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给刘易寒" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=6200#respond" onclick='return addComment.moveForm( "div-comment-6200", "6200", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment even thread-even depth-1" id="comment-6227">
          <article class="comment-body" id="div-comment-6227">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              <a class="url" href="http://weibo.com/2176008951" rel="external nofollow">
               afuckingloser
              </a>
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-6227">
              <time datetime="2014-09-24T20:03:42+00:00">
               2014/09/24 20:03
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             定要mark
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给afuckingloser" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=6227#respond" onclick='return addComment.moveForm( "div-comment-6227", "6227", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
         <li class="comment odd alt thread-odd thread-alt depth-1" id="comment-6602">
          <article class="comment-body" id="div-comment-6602">
           <footer class="comment-meta">
            <div class="comment-author vcard">
             <img src="http://sdn.geekzu.org/avatar/85a76fe875c7707150d892a2d293ed8d?s=74&amp;d=monsterid&amp;r=g"/>
             <b class="fn">
              Lingbing
             </b>
             <span class="says">
              说道：
             </span>
            </div>
            <!-- .comment-author -->
            <div class="comment-metadata">
             <a href="http://cos.name/2012/05/chase-after-eb/#comment-6602">
              <time datetime="2015-02-27T14:59:32+00:00">
               2015/02/27 14:59
              </time>
             </a>
            </div>
            <!-- .comment-metadata -->
           </footer>
           <!-- .comment-meta -->
           <div class="comment-content">
            <p>
             按照英语的习惯，应该是Bradley Efron.
            </p>
           </div>
           <!-- .comment-content -->
           <div class="reply">
            <a aria-label="回复给Lingbing" class="comment-reply-link" href="http://cos.name/2012/05/chase-after-eb/?replytocom=6602#respond" onclick='return addComment.moveForm( "div-comment-6602", "6602", "respond", "5665" )' rel="nofollow">
             回复
            </a>
           </div>
          </article>
          <!-- .comment-body -->
         </li>
         <!-- #comment-## -->
        </ol>
        <!-- .comment-list -->
        <div class="comment-respond" id="respond">
         <h3 class="comment-reply-title" id="reply-title">
          发表评论
          <small>
           <a href="http://cos.name/2012/05/chase-after-eb/#respond" id="cancel-comment-reply-link" rel="nofollow" style="display:none;">
            取消回复
           </a>
          </small>
         </h3>
         <form action="http://cos.name/wp-comments-post.php" class="comment-form" id="commentform" method="post" novalidate="">
          <p class="comment-notes">
           <span id="email-notes">
            电子邮件地址不会被公开。
           </span>
           必填项已用
           <span class="required">
            *
           </span>
           标注
          </p>
          <p class="comment-form-comment">
           <label for="comment">
            评论
           </label>
           <textarea aria-required="true" cols="45" id="comment" maxlength="65525" name="comment" required="required" rows="8">
           </textarea>
          </p>
          <p class="comment-form-author">
           <label for="author">
            姓名
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-email">
           <label for="email">
            电子邮件
            <span class="required">
             *
            </span>
           </label>
          </p>
          <p class="comment-form-url">
           <label for="url">
            站点
           </label>
          </p>
          <p class="form-submit">
          </p>
          <p style="display: none;">
          </p>
          <p style="display: none;">
          </p>
         </form>
        </div>
        <!-- #respond -->
       </div>
       <!-- #comments -->
      </div>
      <!-- #content -->
     </div>
     <!-- #primary -->
     <div class="sidebar-container" id="tertiary" role="complementary">
      <div class="sidebar-inner">
       <div class="widget-area">
        <aside class="widget widget_text" id="text-3">
         <h3 class="widget-title">
          关注统计之都
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            新浪微博
            <a href="http://weibo.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            人人网
            <a href="http://renren.com/cosname">
             @统计之都
            </a>
           </li>
           <li>
            Twitter
            <a href="http://twitter.com/cos_name">
             @cos_name
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-6">
         <h3 class="widget-title">
          微信公众平台
         </h3>
         <div class="textwidget">
          <img src="http://cos.name/wp-content/uploads/2013/04/qrcode-8cm.jpg"/>
          <p style="font-size:12px;margin-left:15px">
           微信号 CapStat
          </p>
          <p>
           我们将第一时间向您推送主站和论坛的精彩内容，以及统计之都的线下活动、竞赛、培训和会议信息。
          </p>
         </div>
        </aside>
        <aside class="widget widget_text" id="text-8">
         <h3 class="widget-title">
          站内导航
         </h3>
         <div class="textwidget">
          <ul>
           <li class="page_item">
            <a href="http://cos.name/cn/">
             中文论坛
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/videos/">
             视频
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/salon/">
             统计沙龙
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/books/">
             图书出版
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/training/">
             教育培训
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/about/">
             关于我们
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/donate/">
             捐赠
            </a>
           </li>
           <li class="page_item">
            <a href="http://cos.name/chinar/">
             R语言会议
            </a>
           </li>
          </ul>
         </div>
        </aside>
        <aside class="widget widget_links" id="linkcat-2">
         <h3 class="widget-title">
          友情链接
         </h3>
         <ul class="xoxo blogroll">
          <li>
           <a href="http://stat.ruc.edu.cn" target="_blank" title="中国人民大学统计学院网站">
            中国人民大学统计学院
           </a>
          </li>
          <li>
           <a href="http://rucdmc.net">
            中国人民大学数据挖掘中心
           </a>
          </li>
          <li>
           <a href="http://birc.gsm.pku.edu.cn/" target="_blank">
            北京大学商务智能研究中心
           </a>
          </li>
          <li>
           <a href="http://sam.cufe.edu.cn/" target="_blank" title="中央财经大学统计与数学学院网站">
            中央财经大学统计与数学学院
           </a>
          </li>
          <li>
           <a href="http://tjx.cueb.edu.cn/" target="_blank" title="首都经济贸易大学统计学院网站">
            首经贸统计学院
           </a>
          </li>
          <li>
           <a href="http://www.shookr.com/">
            数客网大数据社区
           </a>
          </li>
          <li>
           <a href="http://www.xueqing.tv/" target="_blank" title="数据科学在线学习平台">
            雪晴数据网
           </a>
          </li>
          <li>
           <a href="http://iera.name/" target="_blank" title="IERA是一个旨在普及、传播和增进工业工程知识的非营利性网站">
            IERA（直通IE）
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_categories" id="categories-2">
         <h3 class="widget-title">
          全部分类
         </h3>
         <label class="screen-reader-text" for="cat">
          全部分类
         </label>
         <select class="postform" id="cat" name="cat">
          <option value="-1">
           选择分类目录
          </option>
          <option class="level-0" value="925">
           cos访谈  (4)
          </option>
          <option class="level-0" value="659">
           图书出版  (5)
          </option>
          <option class="level-0" value="379">
           数学方法  (14)
          </option>
          <option class="level-1" value="381">
           分析与代数  (1)
          </option>
          <option class="level-1" value="380">
           概率论  (9)
          </option>
          <option class="level-1" value="382">
           随机过程  (5)
          </option>
          <option class="level-0" value="210">
           数据分析  (81)
          </option>
          <option class="level-1" value="203">
           多元统计  (3)
          </option>
          <option class="level-1" value="42">
           数据挖掘与机器学习  (42)
          </option>
          <option class="level-1" value="36">
           生物与医学统计  (17)
          </option>
          <option class="level-1" value="35">
           计量经济学  (4)
          </option>
          <option class="level-1" value="296">
           金融统计  (3)
          </option>
          <option class="level-1" value="303">
           风险精算  (7)
          </option>
          <option class="level-0" value="177">
           模型专题  (15)
          </option>
          <option class="level-1" value="38">
           回归分析  (10)
          </option>
          <option class="level-1" value="41">
           时间序列  (2)
          </option>
          <option class="level-0" value="784">
           每周精选  (24)
          </option>
          <option class="level-1" value="183">
           可视化  (9)
          </option>
          <option class="level-0" value="967">
           沙龙纪要  (3)
          </option>
          <option class="level-0" value="18">
           经典理论  (46)
          </option>
          <option class="level-1" value="37">
           抽样调查  (3)
          </option>
          <option class="level-1" value="4">
           统计推断  (26)
          </option>
          <option class="level-1" value="236">
           试验设计  (7)
          </option>
          <option class="level-1" value="39">
           非参数统计  (3)
          </option>
          <option class="level-0" value="1">
           统计之都  (279)
          </option>
          <option class="level-1" value="884">
           中国R会议  (2)
          </option>
          <option class="level-1" value="885">
           中国R语言会议  (5)
          </option>
          <option class="level-1" value="446">
           出国留学  (3)
          </option>
          <option class="level-1" value="179">
           推荐文章  (90)
          </option>
          <option class="level-1" value="3">
           新闻通知  (75)
          </option>
          <option class="level-1" value="263">
           统计刊物  (10)
          </option>
          <option class="level-1" value="174">
           网站导读  (40)
          </option>
          <option class="level-1" value="204">
           职业事业  (51)
          </option>
          <option class="level-1" value="213">
           高校课堂  (9)
          </option>
          <option class="level-0" value="178">
           统计计算  (28)
          </option>
          <option class="level-1" value="40">
           优化与模拟  (15)
          </option>
          <option class="level-1" value="43">
           贝叶斯方法  (6)
          </option>
          <option class="level-0" value="378">
           软件应用  (116)
          </option>
          <option class="level-1" value="44">
           统计图形  (36)
          </option>
          <option class="level-1" value="110">
           统计软件  (83)
          </option>
         </select>
        </aside>
        <aside class="widget widget_recent_comments" id="recent-comments-2">
         <h3 class="widget-title">
          最新评论
         </h3>
         <ul id="recentcomments">
          <li class="recentcomments">
           <span class="comment-author-link">
            fineboom
           </span>
           发表在《
           <a href="http://cos.name/2016/06/use-shiny-fleetly-set-up-visual-prototype-system/#comment-7317">
            利用shiny包快速搭建可视化原型系统
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            胡家新
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7316">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://www.zijiacha.com/category.php?id=6" rel="external nofollow">
             南糯山普洱茶
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2016/06/r%e8%af%ad%e5%8d%83%e5%af%bb%e7%ac%ac%e4%b8%89%e6%9c%9f%ef%bc%9a%e5%bc%a0%e6%97%a0%e5%bf%8c%e7%a9%b6%e7%ab%9f%e7%88%b1%e8%b0%81%ef%bc%9f/#comment-7315">
            R语千寻第三期：张无忌究竟爱谁？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            J
           </span>
           发表在《
           <a href="http://cos.name/2016/05/value-of-the-reputation-from-the-data/#comment-7314">
            数据告诉你：高信誉的卖家应该收高价，还是收低价？
           </a>
           》
          </li>
          <li class="recentcomments">
           <span class="comment-author-link">
            <a class="url" href="http://gg" rel="external nofollow">
             Hilda
            </a>
           </span>
           发表在《
           <a href="http://cos.name/2013/01/drawing-map-in-r-era/#comment-7311">
            R时代，你要怎样画地图？
           </a>
           》
          </li>
         </ul>
        </aside>
        <aside class="widget widget_rss" id="rss-282869971">
         <h3 class="widget-title">
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           <img src="http://cos.name/wp-includes/images/rss.png"/>
          </a>
          <a class="rsswidget" href="http://cos.name/cn/topics/feed/">
           中文论坛新帖
          </a>
         </h3>
         <ul>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417372/">
            处理时间数据和产生时间序列的问题
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/6790/">
            《统计陷阱》下载 （How to lie with statistics）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/818/">
            统计学的世界（第五版）
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/16574/">
            class(x) 返回值值是AsIs,AsIs代表什么，有什么用处？
           </a>
          </li>
          <li>
           <a class="rsswidget" href="http://cos.name/cn/topic/417366/">
            如何用R绘制一个分类算法的决策规则
           </a>
          </li>
         </ul>
        </aside>
        <aside class="widget widget_text" id="text-2">
         <h3 class="widget-title">
          登录/RSS
         </h3>
         <div class="textwidget">
          <ul>
           <li>
            <a href="http://cos.name/wp-admin/">
             登录
            </a>
           </li>
           <li>
            <a href="http://cos.name/feed/" title="使用 RSS 2.0 同步站点内容">
             文章
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
           <li>
            <a href="http://cos.name/comments/feed/" title="RSS 上的最近评论">
             评论
             <abbr title="Really Simple Syndication">
              RSS
             </abbr>
            </a>
           </li>
          </ul>
         </div>
        </aside>
       </div>
       <!-- .widget-area -->
      </div>
      <!-- .sidebar-inner -->
     </div>
     <!-- #tertiary -->
    </div>
    <!-- #main -->
    <footer class="site-footer" id="colophon" role="contentinfo">
     <div class="site-info">
      版权所有 © 2014 统计之都 | 由
      <a href="http://wordpress.org/">
       WordPress
      </a>
      构建 | 主题修改自
      <a href="http://wordpress.org/themes/twentythirteen">
       Twenty Thirteen
      </a>
     </div>
     <!-- .site-info -->
    </footer>
    <!-- #colophon -->
   </div>
   <!-- #page -->
   <p style="margin:0;padding:0;height:1px;overflow:hidden;">
    <a href="http://www.wumii.com/widget/relatedItems" style="border:0;">
     <img src="http://static.wumii.cn/images/pixel.png"/>
    </a>
   </p>
  </div>
 </body>
</html>